1

進階生成式 AI 的發展版圖

PolyU COMP5511Lesson 11
00:00

在 進階生成式 AI 的發展脈絡中,已從孤立、單體式的模型,演進為由以下核心所構成的多層次生態系: 複合式 AI 系統。這項轉變跳脫了單純的機率式詞元預測,朝向能統籌基礎模型(FM)、模組化外掛程式與跨模態合成的系統邁進。

運算/雲端基礎架構LLM擴散模型音訊/程式碼統籌與代理層

生成式堆疊分類體系

  • 基礎架構層:由硬體骨幹(GPU/TPU)與雲端服務構成,提供訓練與高速推論所需的大量運算資源。
  • 模型層:例如 GPT-4、Llama 3 與 Stable Diffusion 等基礎模型(FM),扮演各模態專屬引擎的角色。
  • 統籌層:負責管理邏輯、資料流與檢索的框架,使模型從「凍結」的權重,轉變為具備 即時情境感知的系統。

模態聚合

技術趨勢著重於統一架構——主要是 Transformer 與擴散模型——以建立共享的潛在空間。這使得單一整合介面得以將文字、圖像與影片視為連續的資訊流進行操作,並在數學上表示為不同潛在流形之間的映射 $M_{text} \leftrightarrow M_{visual}$。

結構演進
我們正從僅依賴訓練資料參數 $\theta$ 的「閉卷」模型,邁向運用外部環境狀態 $E$,透過 $P(y|x, E)$ 解決複雜推理任務的「開卷」系統。
Python 實作